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摘 要 :针对 步 态 识别 在 反恐 、 安 防 领域 孙 待 解决 的 小 样本 问题 , 提出 了 一 种 基于 深度 卷 积 神经 网 络 CNN(convolutional 
and neural network) 和 DLTL(dual learning and transfer learning) 的 步 态 虚拟 样本 生成 方法 。 首 先 用 基于 VGG19 的 深度 卷 
积 神 经 网 络 模型 低层 响应 提取 步 态 风格 特征 图 ， 然 后 利用 基于 对 抗 网 络 的 对 偶 学 习 DL(dual learning) 对 风格 特征 图 进 
行 风格 训练 ， 得 到 风格 特征 模型 ; 其 次 利用 VGG19 模型 的 高 层 响 应 提取 步 态 内 容 特 征 图 ， 然 后 让 步 态 内 容 特征 图 对 
风格 特征 模型 中 的 风格 特征 进行 学 习 ; 最 后 使 用 迁移 学 习 TL(transfer learning) 获 得 步 态 虚拟 偏 移 样本 。 实验 结果 表明 ， 
经 过 DLTL 风格 学 习 生 成 的 步 态 虚 拟 样 本 虽然 整体 风格 发 生 改 变 ,但 人 体 步 态 ”0 可 有 效 扩充 小 样本 容量 

当 虚 拟 样本 数量 增加 到 一 定数 量 ， 步 态 识别 率 有 所 提升 。 该 方法 与 现 有 步 态 虚拟 样本 生成 方法 进行 对 比 实验 ， 结 果 表 
明 该 算法 优 于 现 有 方法 ， 能 够 大 量 生 成 虚拟 样本 且 稳 定 提高 步 态 识别 的 识别 率 。 
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Gait virtual sample generation method based on CNN and DLTL 
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Abstract: To solve the problem of small sample of gait recognition in the field of counterterrorism and security issues, this 
paper proposed a novel gait virtual sample generation method based on deep CNN(Convolutional and Neural Network) and 
DLTL (Dual Learning and Transfer Learning) . Firstly, low-level of CNN model VGG19 extracted gait style feature map, and 
then it used the DL(Dual Learning) to carry on the style feature training. Thus it made style feature model. Moreover, high-level 
of VGG19 extracted gait context feature map, and then it used the TL (Transfer Learning) to make context feature map carry on 
the style characteristic learning. Finally, it obtained the virtual migration samples. Experimental results demonstrate that these 
Virtual samples remained individual gait feature but style feature. So this method can effectively expand small sample size. At 
the same time, when the number of virtual samples increase to a certain number, gait recognition rate has improved. The method 
was compared with the existing virtual sample generation method. The result shows that the method has a better performance, 
which can generate virtual samples in large numbers and improve the recognition rate of gait recognition steadily. 
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步 态 识别 在 特征 提取 过 程 中 ， 按 照 是 否 需要 使 用 相关 人 体 

姿态 参数 , 分 为 模型 无 关 (形体 统计 方法 ) 和 构建 模型 的 方法 。 

步 态 识别 是 依据 行人 步行 的 图 像 序列 来 提取 生物 特征 的 一 ”模型 无 关 的 步 态 识别 方法 将 步 态 外 形 轮廓 直接 进行 特征 提取 和 

种 方法 。 与 DNA、 指 纹 、 虹 膜 、2D 与 3D 人 脸 等 生物 特征 识别 ”匹配 (无 须 构 建 人 体 模型 结构 数据 ), 按 轮廓 数据 又 可 细 分 为 2D， 
方法 相 比 ， 步 态 识 别 具 有 不 需 被 观察 者 配合 、 可 在 较 远 距离 进 ” 2.5D 或 3D 步 态 外 形 轮廓 的 识别 方法 。 另 一 类 通过 使 用 人 体 模 
行 、 可 在 较 低 图 像 质量 下 进行 , 且 难 以 伪装 和 掩藏 由 等 优点 。 因 型 进行 步 态 识 别 ， 人 体 的 模型 可 分 为 2D 模型 (棍棒 模型 ， 匀 
此 ,基于 步 态 特征 的 身份 识别 方法 成 为 近年 来 的 研究 热点 记 3， 链 模型 等 ) 和 3D 人 体 模 型 (3D 椭圆 模型 ,3D 关节 骨架 模型 )。 
在 安防 和 反恐 等 领域 的 应 用 研究 得 到 了 国内 外 学 者 的 重视 由。 模型 无 关 的 步 态 识别 方法 ， 其 特点 是 可 以 直接 使 用 步 态 轮廓 数 
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据 。 基 于 模型 的 方法 ， 对 图 像 像 素 和 清晰 度 的 要 求 略 高 ， 由 于 ”方法 可 有 效 扩充 步 态 样本 。 
需要 构建 人 体 模 型 ， 特 别 是 三 维 人 体 模型 时 ， 其 运算 复杂 度 会 


1 基于 CNN 和 DLTL 风格 学 习 的 虚拟 样本 生成 方 


高 于 模型 无 关 的 方法 。 。 
目前 基于 非 模型 的 研究 是 步 态 识别 研究 的 一 个 重要 方向 。 

模型 无 关 的 步 态 识别 方法 ， 提 取 周 期 内 步 态 轮 廓 统计 信息 ， 对 该 方法 的 提出 源 自 实 际 应 用 中 步 态 人 体 轮廓 分 割 不 能 达到 

反映 形体 和 运动 特征 的 轮 廊 数 据 直 接 进行 匹配 。 最 基础 的 匹配 100% 的 分 割 正确 率 , 而 环境 协 变量 的 变化 会 引起 步 态 人 体 轮廓 


方法 ， 就 是 先 将 步 态 轮廓 按 不 同时 序 和 姿态 进行 同步 ， 然 后 将 分割 位 置 和 分 割 效果 的 变化 。 正 是 基于 这 样 的 原因 ， 本 文才 提 
相同 姿态 的 不 同人 体 步 态 轮廓 直接 进行 相似 性 比较 ， 可 以 使 用 出 通过 基于 CNN 和 DLTL 风格 学 习 的 步 态 虚拟 样本 生成 方法 
欧 氏 距离 、 余 弦 距 离 等 。 其 他 的 一 种 通用 方法 ， 即 是 计算 步 态 ”来 改变 步 态 识别 样本 的 风格 背景 与 气候 ， 以 此 达到 大 量 生成 步 
轮廓 序列 的 均值 , 构成 步 态 能 量 图 GEI(gait energy image)51， 再 态 虚 拟 样 本 的 目的 。 该 方法 主要 思路 是 首先 用 基于 VGG19 的 
进行 匹配 。 以 步 态 能 量 图 为 基础 ， 衍 生 了 许多 相关 特征 的 能 量 。 深度 卷 积 神经 网 络 模型 低层 响应 提取 步 态 风格 特征 图 ,然后 利 
图 ， 比 如 ， 运 动 步 态 轮廓 图 MSI(motion silhouette image)[ 四 ， 步 用 基于 对 抗 网 络 的 对 偶 学 习 DL(DualLearning) 对 风格 特征 图 进 
态 光 流 图 GFI(gait flow image)， 彩 色 步 态 图 CGI(color gait 行 风 格 训练 ， 得 到 风格 特征 模型 。 然 后 利用 VGG19 模型 的 高 
image)t31, 帧 间 差 分 能 量 图 FDEI(frame difference energy image) 中 ， ” 层 响 应 提取 步 态 内 容 特征 图 ， 然 后 让 步 态 内 容 特 征 图 进行 学 习 
步 态 能 量 体 GEV(gait energy volume)t0, 梯度 直方 能 量 风格 特征 模型 中 的 风格 特征 学 习 。 该 方法 的 结构 图 如 图 1 所 示 。 
DGHEI(depth gradient histogram energy image)0ll， 基 于 曲率 的 


| 


步 态 彩色 能 量 图 CGCEI(curve-based gait color energy image)0] 有 由 上 
等 。 步 态 能 量 图 的 特点 相当 明显 ， 计 算 复 杂 度 小 ， 同 时 由 于 采 


了 轮廓 平均， 对 图 像 分 布 噪声 有 较 好 的 抑制 作用 。 

模型 无 关 的 步 态 识别 方法 虽然 已 取得 了 很 大 进展 ， 但 仍 存 
在 多 协 变量 引起 的 轮廓 缺失 与 人 体 阴影 、 步 态 识别 的 视角 差 、 
样本 等 难点 问题 。 步 态 识别 由 于 步 态 周期 长 和 拍摄 艰难 等 因 图 1 基于 CNN 和 DLTL 风格 学 习 的 步 态 虚拟 样本 生成 方法 结构 图 
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素 ， 很 难 采 集 到 大 量 的 步 态 样本 。 当 前 步 态 识别 的 公开 步 态 库 Fig.1 Structure of gait virtual sample generation method based on CNN 
也 只 有 数量 有 限 的 样本 ， 而 且 每 个 人 的 步 态 样本 数目 较 少 ， 这 and DLTL style learning 
就 是 步 态 识别 数据 量 问题 的 集中 表现 。 1.1 VGG19 模型 网 络 图 

对 于 图 像 识 别 的 小 样本 问题 ， 有 学 者 提出 了 一 种 基于 先 验 深度 CNN 通过 多 次 卷 积 变换 和 降 采样 ， 将 图 像 映射 到 一 


知识 从 给 定 小 规模 真实 样本 产生 虚拟 训练 样本 的 方法 03。 目 前 个 较 低 维 空 间 ， 提 取 图 像 的 稀 玻 特征 ， 同 时 由 于 其 使 用 权 值 共 
的 研究 有 利用 BPNN 和 巨型 趋势 分 散 技术 64、 利用 原始 样本 分 享 ， 使 得 神经 元 和 参数 个 数 更 少 ， 更 加 易于 训练 。 当 前 大 数据 
布 函数 05 等 。 文 献 [16] 提 出 用 分 散 神经 网 络 Cdecentralized neural 环境 下 ， 具 有 足够 深度 的 CNN 模型 已 经 成 为 解决 计算 机 视觉 
networks,DNN) 产生 虚拟 样本 ， 表 明 DNN 比 BPNN 具有 更 强 领域 众多 问题 的 重要 工具 B31。 
的 预测 性 能 ， 文献 [17~19] 提 出 基于 遗传 算法 (GA)、 粒 子 群 优 Karen 等 提出 的 VGGnet 采用 3x3 的 卷 积 核 ， 同 时 在 若干 
化 (particle swarm optimization,PSO) 算法 以 及 蒙特 卡 洛 与 PSO 卷 积 层 后 加 入 池 化 层 。 网 络 层 数 增加 有 利于 提高 图 像 分 类 的 
相 结 合 的 虚拟 样本 生成 算法 。 为 了 解决 步 态 识 别 过 程 中 的 小 样 确 度 ， 但 过 多 的 层 数 会 产生 网 络 退化 问题 P1]。VGG19 包含 16 
本 问题 ， 目 前 基于 能 量 图 的 步 态 虚拟 样本 生成 方法 主要 包括 : 个 卷 积 层 (Convl_1-Conv5 4)、5 个 池 化 层 (pooll-pool5)、3 个 
合成 步 态 模板 PC0 和 基于 对 抗 网 络 怠 的 虚拟 样本 生成 方法 。 基 于 全 连接 层 (Fc6-Fc8)，VGG19 的 激活 函数 使 用 矫正 线性 单元 
合成 步 态 模板 的 虚拟 样本 生成 方法 会 破坏 能 量 图 轮廓 的 完整 度 ， (rectification linear uint,Relu )。VGG19 的 结构 如 图 2 所 示 。 


en 而 基于 对 抗 网 络 的 虚拟 样 


拟 样本 鲁 棒 性 差 且 不 稳定 。 


为 了 更 好 的 解决 步 态 识别 小 样本 问题 ， 本 文 提出 一 种 基于 
深度 CNN 和 DLTL 风格 学 习 的 虚拟 样本 生成 方法 。 首 先 用 基 


于 深度 卷 积 神经 网 络 模型 低层 响应 提取 步 态 风格 特征 图 ,然后 图 2 VGG19 模型 网 络 图 

利用 基于 对 抗 网 络 的 对 偶 学 习 对 风格 特征 图 进行 风格 训练 ， 得 Fig.2 Network diagram of VGG19 model 

到 风格 特征 模型 。 接 着 利用 VGG19 模型 的 高 层 响应 提取 步 态 1.2 图 像 内 容 特 征 与 风格 特征 提取 

内 容 特征 图 ， 然 后 让 步 态 内 容 特征 图 对 风格 特征 模型 中 的 风格 图 像 特征 可 分 为 内 容 和 风格 ， 它 们 可 以 运用 深度 CNN 模 
特征 进行 学 习 。 最 后 使 用 迁移 学 习 获得 步 态 虚拟 偏 移 样 本 。 该 。” 型 中 卷 积 层 的 响应 进行 表征 。 在 深度 CNN 模型 中 低层 次 响应 
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# 述 的 特征 是 图 像 风 格 ， 而 高 层次 响应 描述 的 则 是 图 像 的 内 容 (G(x)xx 和 G(F(y))xy。 如 图 3 所 示 ， 图 3(a) 表 示 的 是 两 个 映 
D4]。 射 函数 GIX-2?Y 和 F:Y 了 XX， 以 及 相应 的 对 抗 网 络 判 别 器 Dx 和 
1.2.1 图 像 内 容 特征 图 提取 Dy。Dy 激励 G 映射 将 X 转换 成 与 真实 风格 样本 无 法 辨别 的 虚 
采用 随机 噪声 生成 一 张 与 目标 图 像 Xe 尺寸 一 样 的 图 像 ” 拟 风格 ， 反 之 亦 然 。 为 了 进一步 规范 映射 引入 loss 损失 函数 ， 
xX", 并 将 图 像 输入 到 CNN 模型 中 。 在 该 网 络 模型 第 /个 卷 积 层 。 图 3(b) 是 前 向 损失 函数 :x 访 G(x) 了 3F(G(x)) x x， 图 3(O) 则 是 反 
响应 可 标 为 Xx'， 其 尺寸 大 小 为 8'xW'xN', 其 中 五 表示 图 像 高 。” 向 损失 函数 yF(y) 了 了 G(F(y)xy。 
度 ，W 表示 图 像 宽度 ，N 表示 图 像 像素 点 数 。 类 似 地 ， 可 将 目 名 G_ 
标 图 像 也 输入 到 该 网 络 模型 中 ,可 得 到 该 层 的 特征 响应 。 x 四 开 
于 期 望 X 与 X' 的 图 像 内 容 一 致 所 以 目标 函数 为 最 小 化 二 ”于 | “st - 
范 数 误差 : 四 加 本 
1，， 一 (a) 映 射 函 数 。 ”(b) 前 向 损失 函数 。”(6) 反 向 损失 函数 
za 人 图 3 对偶 学 习 风 格 转换 
册子 到 
可 以 使 用 该 误差 函数 对 本 层 各 响应 的 元 素 进行 求 导 运算 : Fig.3 Style transformation of dual learning 
对 于 前 向 和 后 向 损失 函数 ， 借 鉴 了 最 小 二 乘 对 抗 网 络 模型 
8 的 损失 函数 描述 映射 函数 G: XY 及 判别 器 Dy， 具 体 定义 如 
其 中 : 7=12.3, 刀 ,mw=123 丽 大 =123,.,N 。 采 用 链 式 法 则 , 对 ”下 : 
输入 的 图 像 元 素 进 行 误差 求 导 ， 可 得 08 /6xi ， 这 就 是 经 典 的 IU(G, F, Dx, Dy)= laviii(G, Dy, X,Y)+ loawRi(F, Dx,Y, X)+ Ali(G, F) (6) 
反 向 传播 算法 。 采 用 6E!/6xh 来 对 x" 进行 更 新 ， 以 获得 新 的 。 ”其 中 整个 对 侦 学 习 的 前 向 损失 函数 如 下 : 
更 接近 目标 图 像 响应 x 的 第 1 层 响应 x' ， 即 为 提取 到 目标 区 lonwinlG Dy X,Y)= En log D+ En bogll-D, (G0) 
像 的 内 容 特征 图 。 其 中 整个 对 偶 学 习 的 反 向 损失 函数 如 下 : 
1.2.2 图 像 风格 特征 图 提取 loana(G, Dx,Y,X)= En [log Dx (x)]+ E,., log(1 -Dx (F(y)] (8) 
为 了 提取 图 像 风格 特征 图 ， 先 构 建 一 个 N'xN' 的 特征 矩阵 ” 其 中 整个 对 偶 学 习 的 激励 调节 损失 函数 如 下 : 
. a 1am(0.F)= Ea]F(G()- +E, no(F(y)- 0) 
G = 2 Xj * Xhwy (3) 
其 中 : x=12,3,.…,N ,y=1,2,3,…,N 。G/! 是 通过 计算 消除 了 位 置信 ”其 中 : Px 是 x 的 真实 分 布 , Py 是 y 的 真实 分 布 。 式 (7) 中 ， 当 
息 的 第 1 层 响 应 得 到 的 ， 即 为 风格 描述 。xwy 位 置 的 元 素 表示 第 Dy 激励 G 映射 将 X 转换 为 和 YY 无 法 辨别 时 ， 前 向 损失 函数 最 
个 与 第 y 个 通道 响应 的 相关 性 。 对 于 目标 图 像 在 每 一 层 的 风 ”小 ; 同 理 ， 式 (8) 中 ， 当 Dy 激励 F 映射 将 Y 转换 为 和 X 无 法 
格 G' ， 其 目标 函数 可 以 通过 最 小 化 下 面 的 误差 函数 获得 。 辨别 时 ， 反 向 损失 函数 最 小 。 
a 可 风格 训练 的 思路 是 通过 生成 器 根据 G 映射 关系 将 X 风格 
2 集 特 征 转换 为 Y 风格 集 特征 ， 并 使 用 判别 器 Dy 对 生成 样本 进 
可 以 推导 出 该 误差 函数 在 各 层 响 应 的 导数 : 行 反馈 激励 ， 以 期 产生 与 真实 风格 Y 相似 的 样本 。 同 样 地 ， 通 
oe -fjfc 司 过 生成 器 根据 映射 关系 将 Y 风格 集 特征 转换 为 X 风格 集 特 
Bo 征 ， 并 使 用 判别 器 Dx 对 生成 样本 进行 反馈 激励 ， 以 期 产生 与 
类 似 地 可 以 通过 反 向 传播 算法 推导 出 08; /Xx" ， 以 此 更 新 ”真实 风格 X 相似 的 样本 。 若 通过 !G,F,Dx,Dr) 损 失 函 数 则 可 以 
XxX" ， 使 得 它 更 接近 xo 的 风格 ， 即 为 图 像 风格 特征 提取 图 。 将 二 者 结合 ， 构 建 可 以 相互 风格 转换 的 对 偶 学 习 模型 ， 以 产生 
本 文 的 分 类 网 络 模型 选用 的 是 VGG19 深度 卷 积 神经 网 络 。 多 样 的 风格 转换 特征 模型 。 在 本 文中 使 用 对 偶 学 习 进 行 夏天 和 
模型 。 从 该 模型 的 convl1 1,conv2 1,conv3 1,conv4 1,conv5 1 冬天 风格 训练 ， 得 到 冬天 和 夏天 的 风格 特征 模型 。 
层 提 取 大 数据 原始 集 的 风格 特征 图 ， 从 该 模型 的 conv4_2 层 提 基于 迁移 学 习 TL 的 风格 学 习 
取 小 数据 目标 集 的 步 态 内 容 特 征 图 。 迁移 学 习 (TL) 的 本 质 是 利用 已 有 的 知识 学 习 新 的 知识 ， 核 
1.3 ”基于 对 偶 学 习 DL 的 风格 训练 心 是 找到 已 有 的 知识 和 新 知识 的 相似 性 ?9。 本 文 基于 迁移 学 习 


对 侦 学 习 (DL) 的 基本 思路 是 构建 
反馈 系统 ， 该 系统 能 


闭环 
以 此 反馈 信息 


提高 对 偶 任 务 的 训练 模型 。 


有 具有 两 个 对 偶 任 务 的 


TL 的 风格 学 习 方 法 采用 的 是 让 步 态 内 


自 


够 从 未 标注 数据 上 得 到 反馈 信 


假设 有 两 种 不 同 风 格 


My 


的 图 像 集 又 和 了, 可 


其 中 G 和 下 映射 关 
练 G 和 FF 两 种 虹 


从 


射 ， 


系 是 可 以 相 


pb 训练 出 两 种 映射 GX->Y 和 F:Y 沪 X， 
互 转换 的 。 对偶 学 习 采 用 同时 训 
并 添加 循环 一 致 性 损失 函数 ， 促 使 


型 进行 
输入 ， 
特征 图 和 风格 预 j 


| 练 模型 在 各 卷 积 层 的 


算法 对 学 习 过 程 进 行 权重 更 新 ， 


损失 值 达 到 最 小 ， 


这 检 


就 可 以 使 得 步 态 


损失 值 ， 
调整 输入 图 像 


风格 学 习 。 风 格 学 习 算 法 将 随机 生成 一 张 
保持 分 类 网 络 模型 VGG19 的 各 


层 权 重 不 变 ， 


寺 征 图 对 风格 特征 模 


白 噪声 图 作为 
计算 内 容 


再 使 用 标准 BP 


使 内 容 和 风格 


内 容 特征 


NS 


图 通过 调节 多 
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数学 习 到 风格 预 训练 模型 中 的 不 同 的 环境 风格 ， 生 成 最 终 的 步 
态 虚 拟 样本 。 风 格 学 习 损失 函数 如 式 (10) 所 示 : 

Loa (Tis Tm 2)= ole Ti Tm) t+ Br lm Tsum) (10) 
其 中 : /om 表示 风格 学 习 损 失 函 数 , ko 表示 风格 特征 损失 函数 ， 
leoment 表示 步 态 内 容 特征 损失 函数 。1 表示 风格 特征 图 ，1, 表示 
步 态 内 容 特 征 图 ，1,, 表示 最 终 虚 拟 样本 生成 图 。o,B 是 调节 参 
数 ， 分 别 表示 虚拟 样本 生成 图 里 风格 模型 和 内 容 特 征 的 加 权 因 
子 。 令 0<a<1,，0<B<1,， 且 a+B=1。aw 从 105 到 101 取 值 ， 
发 现 a 越 大 时 ， 最 终生 成 图 像 更 接近 风格 图 像 ， 当 a 较 小 时 ， 
最 终生 成 图 像 更 接近 内 容 图 像 。 所 以 , o 取 值 不 宜 太 多 。 当 取 a 
=104，B=1-104 时 ， 最 终生 成 图 像 更 接近 实际 真实 图 像 ， 可 
以 更 好 地 实现 预期 
图 像 的 步 态 内 容 特征 损失 函数 为 


(11) 


其 中 : ! 表示 层 数 ，F,，P 分 别 表示 1 和 7 在 卷 积 神经 网 络 中 
的 响应 。 
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和 1 期 


风格 样本 与 男 一 类 真实 样本 风格 越 来 越 相似 ， 最 后 达到 了 男 一 
类 判别 器 无 法 辨认 的 程度 。 


summer2winter_yosemite loss 


loss 


0 


over time 


50 
epoch 


图 4 夏天 和 冬天 环境 的 DL 风格 训练 损失 函数 


Fig.4 DL style training loss function in summer and winter 


术 | 


] 夏 天、 冬天 特征 


风格 的 迁移 工作 。 如 
从 图 5 中 可 以 看 出 原 图 冬天 夏天 的 DLTL 风格 学 习 ， 


模型 基于 TL 风格 学 习 进行 环 
图 5 和 6 所 示 。 


步 态 人 体 背 景 


环境 
板 人 体 有 雪白 的 斑 


位 
Cy 
点 

人 


观测 到 色调 转 
图 6 中 原 


风格 特征 图 五 在 VGG19 模型 中 每 一 层 风 格 特征 损失 函数 
为 
Se 
BC 让 (12) 


其 中 : a 代表 原始 图 片 ， 代 表 最 终生 成 的 图 片 ，4! 观 G 分别 
表示 原始 图 片 和 最 终 虚 拟 样本 生成 图 在 神经 网 络 1 层 的 输出 ， 
G =P FP。 

风格 特征 总 损失 为 


Lpe (j= Pow BE, (13) 


其 中 : wi 为 每 一 层 的 损失 在 整体 损失 中 所 占 的 比 
2 ”本 文 算法 实验 结果 和 分 析 


实验 将 对 GaitDataBase 在 0 度 、45 度 和 90 度 方 向 的 步 态 
图 片 进 行 基于 CNN 和 DLTL 风格 学 习 的 步 态 虚拟 样本 生成 方 
法 实验 探究 。 风格 特征 训练 的 大 数据 原始 库 将 采用 Yosemite 上 
的 1273 张 夏天 图 片 和 854 张 冬 天 图 片 ， 分 类 网 络 模型 将 采用 
基于 VGG19 的 深度 卷 积 神经 网 络 模型 。 实 验 的 深度 学 习 框 架 
为 Torch， 编 程 语言 环境 为 Lua5.1，GPU 为 GTX1060。 

实验 目的 是 训练 Yosemite 大 数据 原始 集中 的 夏天 与 冬天 两 
类 风格 特征 ， 以 此 得 到 夏天 和 冬天 特征 模型 。 夏 天 与 冬天 特征 
训练 过 程 中 基于 对 偶 学 习 的 风格 训练 损失 函数 如 图 4 所 示 。 图 
中 绿色 代表 夏天 风格 训练 损失 函数 ， 紫 色 代 表 夏 天 真实 样本 风 
格 函 数 ， 白 色 代 表 冬 天 风格 训练 损失 函数 。 蓝 色 代 表 冬 天 真实 
样本 风格 函数 。 

从 训练 的 损失 函数 可 以 看 出 图 像 的 风格 训练 过 程 慢 慢 趋 于 
稳定 , 在 epoch=40 时 该 模型 训练 过 程 基本 处 于 收敛 状态 。 同 时 
也 可 以 看 出 ， 在 开始 阶段 训练 出 的 风格 与 真实 样本 风格 差异 性 
较 大 ， 随 着 损失 函数 的 反馈 调节 ， 从 一 个 风格 训练 产生 的 生成 


Wn 
o 


成 暖 


FO 


, 调 ， 地 


面 地 板 有 阳光 的 斑点 。 


图 夏天 


冬天 的 DLTL 


景 环境 色调 变 


色调 ; 


成 暧 


也 面 地 板 有 和 雪 


白 的 


图 5 


FO 
Es 


< 


; 再 迁移 到 冬天 背景 风格 ,也 可 以 观测 到 色调 转 成 冷 
降 点 。 


油 


原 


图 > 冬天 > 夏天 的 DLTL 风格 学 习 


i 
月 穆 


调 变 成 冷色 调 ， 可 以 观察 到 冬天 特征 ， 地 
j 夏 天 背景 风格 进行 迁移 ， 也 可 以 


风格 学 习 ， 步 态 人 体 背 
调 ， 可 以 观察 到 夏天 特征 ， 可 以 看 到 阳光 


Ea 


色调 ， 


Fig.5 DLTL style learning of original picture > winter> summer 
| 于 中 = 


图 6 原 


区 | 


Fig.6 DLTL style learning of original picture >summer> winter 
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从 图 


7 可 以 看 


虽然 整体 风格 都 改变 了 ， 但 是 图 片 中 的 
改变 。 也 就 是 说 人 体 步 态 特征 没有 改变 ， 行 人 的 步 态 轮廓 信息 


也 没有 丢失 ， 只 是 拍摄 步 态 识别 
步 态 样本 在 色彩 、 色 调 、 饱 和 度 等 方面 在 一 定 程度 上 都 发 9 
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经 过 DLTL 风格 学 习 生 成 的 步 态 虚拟 样本 


步 态 人 体 的 内 容 


实验 的 


变化 。 这 样 就 达到 了 增加 同类 别 样本 的 


没有 


环境 改变 了 ， 而 且 使 得 


E 了 


上 


目的 ， 扩 充 了 小 样本 容 
样 性 ， 为 后 续 的 工作 降 


实验 的 训练 样本 是 30 个 人 分 别 在 0 度 方向 生成 的 3 张 能 


量 ， 不 同 的 背景 环境 都 给 样本 带 来 了 多 
低 了 过 拟 合 的 概率 。 
-A 
图 7 0 度 、45 度 和 90 度 方向 不 同 风格 的 虚拟 样本 
Fig.7 Virtual samples of 0°,45° and 90° in different styles 
量 图 。 采 用 两 种 经 典 虚拟 样本 和 


拟 步 态 样本 合成 方 沪 


每 个 人 的 虚拟 能 量 医 


7、8、9、 
一 个 周 
征 提取 采用 


常 | 


珊 


150 个 测试 样本 。 


它 的 特征 相当 于 


氏 距 离 ， 降 维 采 用 PCA 降 允 
上 。 测 试 样本 采用 的 是 这 30 个 人 在 0 


原因 是 步 态 
二 十 几 张 普 


能 
通 


图 


量 图 包含 


E 成 方法 一 一 基于 合成 模板 的 虚 
去 和 基于 对 抗 网 络 的 步 态 虚 拟 样本 合成 方法 ， 
样本 数量 分 别 增加 到 1、2、3、4、5、6、 
10。 这 样 增加 虚拟 样本 个 数 的 
期 的 图 片 集合 ， 


的 基于 GEI 


的 步 态 特征 提取 法 , 分 类 器 选用 欧 


方法 ，PCA 的 贡献 率 选 择 95% 以 


度 方向 的 真实 采集 到 的 


量 欧 氏 距离 差 值 求 取 平 均值 ， 得 到 图 8 中 的 步 态 识别 率 。 
90[ 
A A eg 
88r ee Pe WK 
4 “eg 
老 86 上 | 
胁 \ 
局 二 
人 
Q、 
84 二 
下 
82| -基于 合成 步 态 模 板 的 虚拟 样本 本 
-二 -基于 对 抗 网 络 的 步 态 虚拟 样本 节 
0 , 2 3 4 5 6 和 9 10 
虚拟 能 量 图 样本 增加 数量 
图 8 两 种 虚拟 能 量 图 样本 生成 算法 


Fig.8 Two sample generation algorithms for virtual energy maps 


通过 欧 氏 距离 分 类 器 进行 模式 匹配 ， 多 次 测 
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虚拟 样本 增加 数量 


图 9 基于 DLTL 风格 学 习 的 步 态 虚拟 样本 生成 方法 


Fig.9 Gait virtual sample generation method based on DLTL style 


从 图 8 可 以 看 
内 外 


量 处 在 一 定 范 钙 


learning 


两 种 虚拟 能 量 图 样本 生成 算法 ， 当 样本 数 


E 够 提高 步 态 识别 的 识 另 


上 率 。 基 于 合成 步 态 


模板 的 虚拟 样本 生成 方法 呈现 先 增长 再 下 降 的 趋势 ， 这 是 因为 


它 通 过 裁剪 用 


部 的 过 多 会 破坏 能 量 图 


轮廓 的 完整 度 。 这 也 导致 
该 方法 不 能 大 量 生成 虚拟 样本 。 而 基于 对 抗 网 络 的 虚拟 样本 生 


成 方法 随 着 虚拟 样本 数量 的 增加 ， 识 别 率 也 出 现 了 振荡 上 升 的 


趋势 .这 说 明基 于 对 抗 网 络 
很 难 将 它 引 入 到 步 态 识别 系统 的 实际 应 用 之 


的 步 态 虚拟 样本 和 鲁 棒 性 差 且 不 稳定 ， 


中 。 这 是 因为 它 的 


随机 噪声 引起 的 不 确定 性 ， 可 能 会 给 步 态 虚拟 样本 的 构建 带 来 
了 新 的 局 限 性 。 它 虽然 可 以 大 量 获得 同类 别 步 态 虚 拟 样本 ， 但 


是 同时 也 引入 了 影响 识别 率 的 不 确定 拆 


对 30 个 人 在 0 


度 的 训练 样本 


问题 。 


k 1000 张 原始 RGB 


图 片 ， 


采用 基于 CNN 和 DLTL 风格 学 习 的 虚拟 样本 生成 方法 ， 每 个 
人 的 虚拟 样本 数量 分 别 增加 到 5、10、15、20、25、30、35、40、 


45、50。 特 征 提取 采用 常 / 


类 器 选 / 


的 基于 GEI 的 步 态 特征 提取 法 ， 分 
欧 氏 距离 。 测 试 样本 采用 的 是 这 30 个 人 在 0 度 方向 


的 真实 采集 到 的 150 个 测试 样本 。 通 过 欧 氏 距离 分 类 器 进行 模 
式 匹配 ， 多 次 测量 欧 氏 距离 差 值 求 取 平 均值 ， 得 到 图 9 中 的 步 


态 识别 率 。 


从 图 9 可 以 看 出 随 着 DLTIL 风格 学 习 虚 拟 样本 数量 的 增加 ， 
识别 率 有 所 增加 。 而 且 虚 拟 样 本 数量 增加 至 


别 率 有 所 提升 。 从 图 
数量 后 ， 识 别 率 可 和 
不 仅 扩 充 了 同类 别 的 术 


小 样本 问题 。 


I 一 定 的 数量 后 ， 识 


中 趋势 可 以 预测 虚拟 档 
bE 趋 近 饱和 。 


本 数量 达到 一 定 的 


通过 实验 验证 DLTL 风格 学 习 


# 本 数量 ， 还 在 一 定 程度 上 抑制 步 态 识别 


表 1 不 同 分 类 器 的 识别 率 


Table 1 Recognition rate of different classifiers 


虚拟 样本 生成 欧式 距离 SVM 贝 叶 斯 
合成 步 态 模板 86.67% 86.00% 84.67% 

对 抗 网 络 88.67% 89.33% 88.00% 
DLTL 风格 学 习 90.67% 90.00% 91.33% 

表 1 所 示 为 利用 不 同 分 类 器 三 种 虚拟 样本 生成 方法 的 步 态 


的 识别 情况 ， 测 试 样 本 采用 的 是 30 个 人 在 0 度 方向 的 真实 采 


集 到 的 150 个 测试 样本 。 从 表 1 可 以 看 出 ， 


DLTIL 风格 学 习 的 


支 双双 ， 等 : 


方法 优 于 其 他 两 种 方法 。 
表 2 三 种 步 态 虚 拟 样 本 生成 算法 对 比 


Table 2 Comparison of three algorithms for gait virtual sample generation 


| | ”提高 真实 样本 
虚拟 样本 生成 ”稳定 性 ”是 否 失真 ”大量 生成 

识别 率 
合成 步 态 模板 。 否 是 否 。 先 提高 后 降低 
对 抗 网 络 否 否 是 提高 
DLTL 风格 学 习 ” 是 否 是 提高 


表 2 是 三 种 步 态 虚拟 样本 生成 算法 的 实验 对 比 ， 从 表 中 可 
以 看 出 基于 CNN 和 DLTL 风格 学 习 的 步 态 虚 拟 样 本 生成 在 三 
种 算法 中 是 最 优 的 ,该 方法 不 仅 稳 定 提高 了 真实 样本 的 识别 率 ， 
还 能 够 在 一 定 程度 上 解决 步 态 识别 的 小 样本 问题 。 


了 


3 ”结束 语 


本 文 提出 一 种 基于 深度 卷 积 神经 网 络 和 DLTL 风格 学 习 的 
步 态 虚拟 样本 生成 方法 ， 该 方法 可 较 好 改善 步 态 识别 小 样本 问 
， 优 于 现 有 的 步 态 虚拟 样本 生成 方法 。 实 验 结果 表明 ， 该 方 
生成 大 量 虚拟 样本 ， 且 具有 良好 的 鲁 棒 性 。 实 验 发 现 采 | 
于 CNN 和 DLTL 风格 学 习 的 步 态 虚 拟 样 本 方法 能 够 提高 步 
识别 的 识别 率 。 下 一 步 研 究 将 提取 更 复杂 的 风格 特征 模型 ， 


四 


上 


升 步 态 内 容 特征 图 对 风格 特征 模型 迁移 风格 学 习 的 效率 ， 高 
效 获得 更 多 风格 的 步 态 虚拟 样本 。 
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